Appearance
Dynamics of cross-platform attention to retracted papers
Summary
Problem: 被撤稿论文在正式撤稿前常在社交媒体、数字新闻和其他网站上广泛传播,可能对科学界和公众造成伤害。然而,撤稿对论文在线传播的影响尚不清楚,尤其是撤稿是否能够有效减少公众对问题论文的关注。 Approach: 作者利用Retraction Watch数据库获取3,851篇被撤稿论文,并通过Altmetric数据库追踪这些论文在14个在线平台上的提及轨迹。他们为每篇被撤稿论文匹配了5篇来自相同期刊、出版年份、作者数量和作者影响力相似的未撤稿对照论文,比较两组论文在出版后和撤稿前后的关注量差异。同时,作者通过人工标注和自动化方法识别Twitter上表达批评的推文,区分批判性与非批判性关注。 Finding: 被撤稿论文在出版后于所有四类平台(社交媒体、新闻媒体、博客、知识库)上均获得比对照论文更多的关注,且在策展程度较高的平台(如新闻媒体)上关注量优势更大。即使排除批评性推文后,被撤稿论文在Twitter上仍获得更多关注。撤稿前后,被撤稿论文的额外关注主要与撤稿事件本身相关,而非研究结果。最关键的是,在撤稿发生时,大多数论文已经耗尽了其在线关注,因此撤稿并不能有效减少问题论文的传播。 Significance: 该研究首次在大规模尺度上揭示了被撤稿论文在不同在线平台上的传播程度,识别了公众对问题论文的批评信号,并证明撤稿并非减少问题论文在线关注的有效工具。这对期刊政策制定、科学传播实践和公众对科学的信任具有重要启示。
Theoretical Framework
- Theoretical tradition: 计算社会科学与科学传播的交叉领域,关注科学知识在数字媒体中的扩散与纠错机制。
- Prior theories built upon: 论文引用了关于撤稿率上升的研究(如Fang et al., Brainard, Van Noorden)、科学在线传播研究(如社交媒体上科学论文的扩散)、以及撤稿引用惩罚的相关文献。还参考了注意力自然衰减的传播模型(如注意力随时间衰减的规律)。
- Causal mechanism: 被撤稿论文可能因呈现更引人注目的(虚假)阳性结果而天然吸引更多关注;同时,高关注度可能增加论文被审查和最终撤稿的可能性。撤稿事件本身会引发关于撤稿事件的讨论,但这些讨论并非对研究结果的传播。
- Key assumptions: 假设Altmetric数据库能够较为全面地追踪论文的在线提及;假设匹配过程能够有效控制影响关注量的基本因素;假设Twitter上的批评性推文可以代表对论文的批判性关注。
- Theoretical move: 该论文应用并扩展了现有的科学传播和撤稿研究,将研究焦点从学术引用领域扩展到更广泛的在线公众传播领域,首次系统性地将撤稿论文的在线关注按平台类型和时间维度进行分解分析。
- Scope conditions: 研究发现基于Altmetric数据库中可追踪的论文子集,可能无法代表所有问题论文;批评性关注的检测仅限于Twitter平台;匹配方案未控制所有可能影响关注量的因素(如机构声望)。
Research Design
本研究为观察性纵向研究,采用匹配对照设计。分析单位为单篇论文。关键自变量为论文的撤稿状态(被撤稿 vs. 未撤稿对照)。因变量为论文在不同平台上获得的提及数量(按平台类型区分:社交媒体、新闻媒体、博客、知识库),以及Twitter上批评性推文的比例。操作化方式:通过Altmetric数据库获取每篇论文的提及记录,按时间窗口(出版后6个月、撤稿前后2个月等)聚合;批评性推文通过人工标注和自动化方法识别。
Data & Sample
样本包含3,851篇被撤稿论文和13,599篇匹配对照论文(每篇被撤稿论文匹配5篇对照论文)。数据来源为Retraction Watch数据库(撤稿论文记录)和Altmetric数据库(2019年10月8日版本,追踪在线提及)。匹配标准包括:相同期刊、相似出版年份、相似作者数量和作者引用影响力。时间跨度为论文出版至撤稿后6个月。研究未限定特定国家或地区,数据为全球范围的在线提及。
Analytical Strategy
主要分析方法包括:负二项回归检验撤稿状态与提及量之间的关联,控制出版年份、作者数量和作者引用数等变量;Mann–Whitney U检验比较两组论文提及量分布的中心趋势;中断时间序列分析评估撤稿对关注趋势的影响;相关性分析检验批评性推文比例与其他平台提及量之间的关系。稳健性检验包括:改变追踪窗口长度、排除多学科期刊论文、按学科分组分析、仅考虑非批评性推文等。
Results & Findings
- 被撤稿论文在出版后获得更多关注:在所有四类平台(社交媒体、新闻媒体、博客、知识库)以及顶级新闻媒体上,被撤稿论文在出版后6个月内获得的平均提及量均显著高于对照论文。这一发现在不同时间窗口下均稳健。被撤稿论文在策展平台(新闻媒体、知识库)上的关注量优势比在社交媒体和博客上更大。
- 被撤稿论文获得更多非批评性关注:即使排除表达批评的推文后,被撤稿论文在Twitter上仍比对照论文获得更多提及,表明有问题的研究结果确实被不加批判地传播。被撤稿论文的推文触达的受众规模与对照论文相当或更大。
- 被撤稿论文获得更高比例的批评性推文:在出版后5-6个月的时间窗口内,被撤稿论文的批评性推文比例显著高于对照论文(p < 0.001)。批评性推文比例与其他平台的提及量之间无显著关联,表明Twitter上的批评信号并非由其他平台的报道驱动。
- 撤稿后额外关注主要与撤稿事件相关:撤稿后,被撤稿论文的提及量仍高于对照论文,但排除讨论撤稿本身的帖子后,这一差异消失。被撤稿论文在撤稿后获得的额外关注主要是对撤稿事件的反应,而非对研究结果的传播。
- 撤稿时论文已耗尽在线关注:在撤稿前2个月,80.2%的被撤稿论文没有任何提及;撤稿前1个月,93.6%的论文没有任何提及。中断时间序列分析确认,撤稿并未导致提及量下降速度比撤稿前趋势更快。这表明撤稿发生时,论文已经耗尽了其在线关注,撤稿无法进一步减少传播。
- 意外发现:被撤稿论文在撤稿前并未比对照论文获得更多关注,这与出版后早期的关注优势形成对比,进一步支持了“注意力已耗尽”的解释。
Limitations
作者承认以下局限:第一,并非所有应被撤稿的问题论文都被撤稿,且并非所有被撤稿论文都能在主要在线平台上被追踪到,研究结果仅基于Altmetric数据库中可追踪的子集。第二,Altmetric数据库可能未覆盖每篇论文的所有提及,例如新闻媒体的推文若未明确包含论文唯一标识符则不会被追踪。第三,匹配方案控制了期刊、出版年份、作者数量和引用影响力,但未控制其他潜在因素(如机构声望)。第四,批评性关注的检测仅针对Twitter单一平台,其他平台上的批评性讨论有待未来研究。第五,研究分析的是公众对撤稿论文的关注,未区分不同类型的在线受众(如学者、专业人士与普通公众)。
Key Contributions
- 首次在大规模尺度上系统比较了被撤稿论文与匹配对照论文在四类在线平台上的关注量,揭示了被撤稿论文在出版后获得更多关注的现象。
- 发现被撤稿论文在策展程度较高的平台(新闻媒体、知识库)上的关注量优势更大,表明问题论文在精心策划的渠道中也有广泛可见性。
- 通过大规模人工标注和自动化方法,识别了Twitter上对被撤稿论文的批评性推文,证明Twitter上的集体讨论包含有意义的科学批评信号,可能有助于早期识别问题论文。
- 首次证明撤稿在减少问题论文在线传播方面的效力有限,因为撤稿发生时论文已耗尽在线关注。
- 贡献了一个包含论文提及推文标识符和人工标注批评性推文的数据集,可供更广泛的研究社区使用,有助于开发自动化检测批评的计算方法。
Key Claims
"Retracted papers receive more attention after publication not only on social media, but also on heavily curated platforms, such as news outlets and knowledge repositories, amplifying the negative impact on the public." (Abstract) "Most importantly, around the time they are retracted, papers generate discussions that are primarily about the retraction incident rather than about research findings, showing that by this point papers have exhausted attention to their results and highlighting the limited effect of retractions." (Abstract) "We show that retraction is not an effective tool to reduce online attention to problematic papers." (Abstract) "By the time the retraction is issued, most papers have already exhausted their attention, meaning that the retraction does not serve the purpose of further reducing the attention." (Results, "Is Retraction Effective in Reducing Attention?") "Our findings reveal the extent to which retracted papers are discussed on different online platforms and identify at scale audience criticism towards them." (Abstract)